10к 


УДК 004.932.751 


Ю.В. Крак, Д.В. Шкільнюк 
Інститут кібернетики ім. В.М. Глушкова НАН України, м. Київ, Україна 
Ккгак(Фатісуб.Кіеу.ма, Фітоп5рК(Фотаї!. сот 


Технологія розпізнавання елементів 
дактильно-жестової мови 


Об'єктом дослідження є дактильно-жестова мова, яка використовується для спілкування людьми з 
пониженим слухом. Метою дослідження є розробка та реалізація алгоритмів розпізнавання дактильно- 
жестової мови. У роботі розглядається та використовується метод анімації персонажів, за допомогою якого 
виокремлюється ряд ознак жестів. Розглядаються алгоритми візуальної обробки зображень. Запропоновано 
класифікацію жестів дактильної мови. 


Вступ 


Згідно з останніми даними світових досліджень, близько 290 людей мають ті або 
інші порушення слуху. На жаль, з кожним роком ця цифра зростає. У свою чергу, 
порушення слуху породжує проблему розвитку мови. Більшість глухих є інвалідами з 
дитинства. Навчаючись у спецінтернатах, відвідуючи свої клуби та укладаючи шлюби 
у власному середовищі, вони утворюють своєрідну субкультуру. Між собою такі 
особи спілкуються спеціальною жестовою мовою. У свою чергу, їм досить важко 
контактувати з оточуючим світом. В Україні на державному рівні (1| регулюються 
питання соціального захисту прав інвалідів, зокрема, «...інвалідам по слуху забезпе- 
чується доступ до засобів масової інформації шляхом титрування та здійснення сурдо- 
перекладу на дактильно-жестову мову глухих інформаційних 1 тематичних телепрограм, 
кінофільмів, відеофільмів...». Для забезпечення даного закону виникає необхідність у 
створенні нових засобів спілкування на основі сучасних інформаційних технологій, 
зокрема, створення комп'ютерних систем моделювання та розпізнавання дактильно- 
жестової мови. 

Отже, об'єктом дослідження є дактильно-жестова мова, якою спілкуються люди з 
пониженим слухом, а метою даної роботи є створення комп'ютерної системи для 
розпізнавання дактильно-жестової мови. 

Постановка задачі дослідження. Дактильно-жестова мова зображує букви алфа- 
віту, цифри, слова і словосполучення. Люди з вадами слуху використовують дактильну 
мову для відображення власних назв, імен, іншомовних, наукових термінів, речовин і т.д. 

Також існує поняття калькулятивної мови жестів, яка використовується при 
офщійному та діловому спілкуванні і містить в собі як знаки розмовної мови, так і знаки 
дактильної абетки. Зазначимо, що дактильна абетка слугує для відображення слова 
по буквах. У свою чергу, калькулятивна мова підпорядковується граматичним пра- 
вилам державної мови |2|. 

Деякі автори для ідентифікації елементів зображення використовують нейронну 
мережу, побудовану за схемою багатошарового персептрона, навчання якої виконано за 
модифікованим методом зворотного поширення похибки |3|, (4). Експериментально 
підібрано параметри цієї мережі - один прихований шар з п'ятьма нейронами та непар- 
ною активаційною функцією. Для уточнення синаптичних зв'язків мережі алгоритм 
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навчання використовує відмінність навчального прикладу від побудованого еталона. 
Задачу класифікації вирішено у два етапи: на першому з них на навчальних 
прикладах навчено мережу, а на другому - таку мережу використано для класифікації 
нових прикладів. У роботах (5), |6) пропонується застосовувати приховану модель 
Маркова, в роботі |7| розробляється система розпізнавання жестів, в якій використо- 
вується сегментація зображення, відстеження обличчя і рук. Для вдалого відстеження 
обличчя і рук використовуються алгоритми виявлення шкіри, особливостей руху, 
позицій рук 1 обличчя. Після визначення руки проводиться аналіз форми 1 порівняння з 
деякими еталонними зображеннями. В роботі |З| пропонується встановлювати камери 
перпендикулярно до столу, так щоб в поле зору камери потрапляли лише стіл і руки, 
і, отже, відпадає потреба реалізовувати дії для розрізнення обличчя людини і її рук. 

У техніці часто використовують ехолокацію для визначення положення об'єкта. 
Ехолокація - спосіб, за допомогою якого положення об'єкта визначається за часом 
затримки відбитої хвилі. Робота ехолокації може базуватися на відбитті сигналів 
різної частоти - радіохвилі, ультразвук 1 звук. Деякі ехолокаційні системи направ- 
ляють сигнал у визначену точку простору і за затримкою відповіді визначається її 
віддаленість при відомій швидкості переміщення даного сигналу в даному середо- 
вищі і властивості об'єкта, до якого визначається відстань, відбивати даний вид 
сигналу. Але дослідження положення об'єктів за допомогою даного методу вимагає 
часових затрат. Також використовуються технічні системи з одночасним викорис- 
танням сигналів різної частоти, які дозволяють істотно прискорити процес ехолокації. 

Ехолокаційну техніку можна застосовувати при отриманні інформації про жести. 
Зокрема, розглянемо випадок, коли людина стоїть фронтально до ехолокаційної системи. 
Проаналізувавши особливості виконання деякого жесту, можна зробити наступні 
висновки: що рука, якою виконується жест, завжди буде ближче до системи ніж інша 
частина тіла. Тому, необхідно досліджувати область, яка знаходиться найближче до 
ехолокаційної системи. У свою чергу, в даній області будуть зони, які знаходяться 
ближче або дальше від ехолокаційної системи. На основі отриманих даних будується 
об'ємне зображення руки, якою виконується жест, і досліджуються особливості 
виконання жесту. 

Метод лазерного сканування дозволяє створювати цифрову модель оточуючого 
простору, представляючи його у вигляді набору точок з просторовими координа- 
тами |9). Схематично лазерний сканер можна розділити на декілька основних блоків: 
1) головка вимірювання. Як правило, в ній розташований лазерний випромінювач 1 
приймач; 2) обертаюча призма. Забезпечує розподілення пучка у вертикальній пло- 
щині; 3) привід горизонтального круга. Забезпечує обертання головки вимірювання в 
горизонтальній площині; 4) комп'ютерна система. Призначена для керування 
зйомкою і запису даних на носій. 

Отримання координат точок об'єкта лазерним сканером базується на вимірюванні 
полярних кутів і відстаней до об'єкта. Напрям вимірювання визначається оптико- 
механічною системою сканера. На шляху до об'єкта імпульси лазерного випромі- 
нювання проходять через систему дзеркал, які виконують покрокове відхилення 
променя. Найбільш розповсюдженою є конструкція, яка складається з двох рухомих 
дзеркал. Одне з них відповідає за вертикальне переміщення променя, друге - за 
горизонтальне переміщення дзеркал. У кінцевому результаті дзеркала забезпечують 
точність напрямлення променя лазера на об'єкт. Дзеркала відхиляються на задану 
величину і таким чином дозволяють визначити полярний кут, який необхідний для 
находження координат. Оскільки рука, якою виконується жест, завжди буде ближче 
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до системи ніж інша частина тіла, то при використанні лазерного сканера також 
досліджуються області, які находяться найближче до системи. Як і при використанні 
ехолокаційної системи, на основі отриманих даних будується об'ємне зображення 
руки, якою виконується жест, і досліджуються особливості виконання жесту. 

Для чіткого виявлення ознак жестів використовують технологію захвату рухів 
(МоСар) П0). Даний метод застосовується для зйомок мультфільмів, для створення 
спеціальних ефектів в художніх фільмах, а також широко використовується в ігровій 
індустрії. Система МоСар використовує спеціальне обладнання (камери), зокрема, 
костюми з датчиками або світодіодами. 

На сьогоднішній день існує велика кількість систем захвату руху, різниця між 
якими полягає в принципі передачі руху. Так, дані системи поділяються на дві групи: 

1. Оптичні пасивні. Основною характерною ознакою таких систем є прикріплені до 
костюма датчики-маркери, які називаються пасивними, тому що відбивають світло, яке 
попадає на них, а самі вони, у свою чергу, не світяться. У таких системах світло 
(інфрачервоне) на маркери посилається з встановлених на камерах високочастотних 
стробоскопів і, відбившись від маркерів, попадає знову в камеру, визначаючи цим по- 
зицію маркера. Недоліком таких систем є те, що при швидкому русі або близькому 
розміщенні маркери плутаються або зміщуються, тобто система може сплутати поря- 
док маркерів. 

2. Оптичні активні. Дані системи характеризуються тим, що замість світловід- 
биваючих маркерів використовуються світлодіоди з інтегрованими процесорами 1 радіо- 
синхронізацією. Кожному світлодіоду призначається своя адреса, що дозволяє їх не 
плутати, а також розпізнавати їх після того, як вони були перекриті і знову з'явилися в полі 
зору камер. В усьому іншому принцип роботи активних систем подібний до пасивних 
систем. 

Так, людина одягає спеціальний костюм із світодіодами та проводить певні рухи 
або приймає різноманітні стани. За допомогою програмного забезпечення дані, отри- 
мані з камер 1 датчиків, відтворюються в анімаційному вигляді. 

Для отримання даних про рух зап'ястя, пальців використовується рукавичка з 
світодіодами (рис. 1). Зокрема, людина одягає рукавичку і демонструє окремі рухи. 
У свою чергу, камери 1 датчики збирають дані, програмне забезпечення їх обробляє 1 
відтворює рухи в анімаційному вигляді (рис. 2). 


Рисунок 1 - Рукавичка з світлодіодами Рисунок 2 - Анімаційне зображення 
рухів руки 
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У даній статті запропоновано ряд алгоритмів для ідентифікації елементів жес- 
тів, в яких використовується попіксельний аналіз зображення і елементів жесту. Також 
досліджені методи і алгоритми збору ознак, за якими буде відбуватися розпізнавання 
і класифікація жестів дактильної мови. 


Використання веб-камери 1 деяких алгоритмів обробки 
зображення 


Для вивчення природи жестів використовується звичайна веб-камера і рукавички, 
колір яких різко відрізняється від кольорів предметів, що попадають у поле зору веб- 
камери. Перед початком роботи даного методу необхідно детально вивчити природу 
жестів, які відображають букву. Розпізнавання жестів можна визначити як відношення 
вхідних даних до певного класу образів за допомогою виділення істотних ознак або 
властивостей, котрі виділяють вхідні дані від загальної маси неїстотних деталей. Під 
класом образів розуміється певна категорія, яка визначається рядом ознак, спільних 
для всіх її елементів (11|. Отже, жести, які відображають букви, можна поділити на 
дві групи: рухомі і нерухомі. Жест на відеозображенні розглядається як послідов- 
ність кадрів, на яких відбувається зміна форми кисті руки |3|. До рухомих жестів 
відносяться жести, які відображають наступні букви: Д, Є, 3, Її, Й К,Ф,Х, Ц, Щ, Ю, 
Я, Б. До нерухомих: А, Б, В, Г, Е, И, Ж, І, Л, М,Н, 0, П,Р, С, Т, У, Ч, Ш. 

Розглянемо випадок, коли в поле зору камери попадає жест, який відображає неру- 
хому букву. Побудуємо квадрат, розміри якого дозволяють охопити руку з розкритими 
пальцями. Бажано, щоб сторона квадрата дорівнювала 100 пікселям. Даний квадрат необ- 
хідно розбити на рівні клітини, сторони яких будуть рівні 25 пікселям (рис. 3). 


Рисунок 3 - Побудова необхідного квадрата 


Після проведених дій необхідно провести показ кожного жесту, який відображає 
нерухому букву. Для кожного жесту проводиться аналіз - в які клітини попадає рука при 
відтворенні жесту. Дані клітини замальовуються цілковито (рис. 4). 


Рисунок 4 - Аналіз розміщення руки в квадраті 
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У кожній клітині обраховується відношення кількості чорних точок до загальної 
кількості точок. Тобто будуємо значення еталонів для кожного жесту |11|. В даному 
випадку еталон буде містити шістнадцять значень. Сукупність еталонів жестів утворюють 
базу знань, яка в наступних кроках буде використовуватись для розпізнавання. 

Провівши послідовність дій для кожного жесту, можна виділити наступні 
класи образів : 


СІа88 1 СІа88 2 СТаз8 3 


Сіає8 4 Сіає8 5 
Рисунок 5 - Класи образів 


Жести, які відтворюють нерухомі букви, розділені між класами наступним чином: 

С1а8з5 1-Б, В; 

С1а88 2 - А, Г, І, Л, М, Ч, П, ЩШ; 

С1а88 3 - Ж, Ч, Е; 

СІаз54-О,Р, С, Т; 

Сіаз8 5 - У. 

Під час розпізнавання жестів, що відображають нерухомі букви, в першу чергу 
визначається, до якого класу відноситься даний жест. Наступний крок - це побудова 
еталона вхідного жесту і порівняння з еталонами жестів (з бази знань) даного класу. 
Далі необхідно обчислити суму різниць між значеннями клітин еталонів і значенням 
клітин жесту, що розпізнається. 


п 
Уа. Мі -дк» 
ЛУ У 


де а; - значення кожної клітини жесту, який розпізнається, М. - значення клітини 


кожного еталона. З множини А" вибирається найменше. Найменше А" визначить ста- 
лон, до якого відноситься жест, що розпізнається. 

Під час виконання вищенаведеного прикладу виникають деякі проблеми при 
визначенні положення окремих пальців. Даний недолік можна виправити за допо- 
могою рукавички з різними кольорами пальців. Використання різних кольорів для 


568 «Искусственньй интеллект» 32009 


Технологія розпізнавання елементів дактильно-жестової мови 10к 


пальців надає можливість точніше визначити положення окремого пальця і приблизно 
визначити, в якому стані палець - зігнутий чи розігнутий. 
Так, кожному пальцю відповідає окремий колір: 
- жовтий - великий палець; 
- червоний - вказівний палець; 
- зелений - середній палець; 
- синій - безіменний палець; 
- фіолетовий - мізинець. 
Розглянемо даний метод для обробки жесту, який відображає букву «Р» (рис. б), і 
порівняємо з попереднім методом (рис. 7). 


Рисунок 6 - Буква «Р» у Рисунок 7 - Порівняння методів 
звичайному зображенні 


Вищенаведені алгоритми вдало працюють при сталій фокусній відстані між 
камерою 1 рукою. 

У випадку, коли в поле зору камери потрапляє жест з великими амплітудними 
рухами, необхідно відслідкувати траєкторію руху руки. Для відстеження траєкторії 
об'єкта необхідно слідкувати за координатами центра мас. Координати центра мас 
об'єкта обраховуються наступним чином. 

Нехай М - кількість пікселів, які відносяться до об'єкта. Всю множину пікселів 
р, У) , що відносяться до об'єкта, позначимо О (|12|. Тоді координати центра мас 


обчислюються наступним чином: 


1 
хз жан У. 


р(ху)є0 р(х,у)є0 


Проаналізувавши траєкторії рухомих жестів, букви, які відображаються за 
допомогою даних жестів, пропонуємо розділити на наступні класи: 
- «За годинниковою стрілкою» - Д (жести, траєкторія яких іде за годинниковою 
стрілкою фронтально до співрозмовника); 
- «Навколо своєї осі» - Є, Ї, Й К.Ф Б (жести, траєкторія яких іде навколо осі руки); 
- «Зліва направо» - 3, Я (жести, траєкторія яких іде зліва направо фронтально до 
співрозмовника); 
- «Справа наліво» - Х, Ю (жести, траєкторія яких іде справа наліво фронтально до 
співрозмовника); 
- «Зверху вниз» - Ч, Ц, Щ (жести, траєкторія яких іде зверху вниз). 

Зміни координат центра мас відображаються графічно, що дасть можливість 
чіткіше визначити чи жест рухомий, чи не рухомий, а також визначити, до якого 
класу відноситься рухомий жест. 
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Розглянемо роботу даного методу на прикладі слова «ТРОЯ». 
Слово «ТРОЯ» складається з чотирьох букв. Букви «Т», «Р», «О» відображаються 
нерухомими жестами, а буква «Я» відображається рухомим (рис. 8). 


Р Я 


Рисунок 8 - Слово «Троя» 


Як було сказано, зміни координат центра мас варто відображати графічно, тому 
побудуємо два графіка. На вісі абсцис відображається моменти часу, в який відобра- 
жається жест. На вісі ординат відображаються координати х і у, відповідно на пер- 
шому і на другому графіках (рис. 9). 


Я ТІРГОТЯ 


Рисунок 9 - Графічне зображення зміни координат центра мас 


Проаналізувавши графіки, можна визначити, де нерухомі жести і жести з великими 
амплітудними рухами. 

Розглянемо приклад, коли в слові присутні декілька букв з великими амплі- 
тудними рухами. Наприклад, слово ЮЛЯ, в якому буква Л відображається нерухомим 
жестом, а букви Ю, Я відображаються рухомими (рис. 10). 


Я 


Рисунок 10 - Слово ЮЛЯ 
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Відслідковуючи рух руки, можна визначити зміну координат центра мас пік- 
селів (рис. 11). 


ЮЛЯ ЮЛЯ 


Рисунок 11 - Графічне зображення зміни координат центра мас для слова ЮЛЯ 


Таким чином, запропоновану класифікацію жестів можна відобразити за 
допомогою наступної схеми (рис. 12): 


Дактильно-жестова мова 


рухомі жести нерухомі жести 


Зліва направо 
СІаз8 3 
Навколо своєї осі 
СІаз8 4 


За годинниковою 


стрілкою 


Рисунок 12 - Класифікація дактильних жестів 
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Висновки 


У даній роботі було розглянуто загальну класифікацію жестів дактильно-жестової 
мови. Описано розпізнавання жестів різних груп, а також методи збору ознак для роз- 
пізнавання. Окремо розглянуто принципи роботи системи при розпізнаванні нерухомих 
жестів і жестів з великими амплітудними рухами. При роботі модуля для розпізнавання 
жестів важливу роль відіграє графічне відображення руху центра мас, що дасть можли- 
вість чітко визначити чи жест нерухомий, чи з великим амплітудним рухом. І якщо жест з 
великим амплітудним рухом, то графічне зображення дасть можливість визначити, до 
якого класу належить жест. 

На основі проведених випробувань 1 отриманих результатів розробляються алго- 
ритми розпізнавання дактильно-жестової мови при відсутності рукавичок, або при 
відсутності допоміжних міток на руках. 


Література 
1 


. Закон України «Про основи соціальної захищеності інвалідів в Україні». 

2. Крак Ю. Компьютерная система виртуального общения людей с проблемами слуха / Ю. Крак, 
А. Бармак, А. Ганжа, А. Тернов, Н. Шатковский // 161Б Ііегпайопа! Сопіегепсе «Кпом/едее- 
Глаїорие-5опийоп» КІ05 2008. - Уаппа, Виівагіа, 2008. - С. 161-165. 

3. Давидов М.В. Методи та засоби опрацювання зображень реального часу для ідентифікації елементів 
жестової мови / М.В. Давидов, Ю.В. Нікольський // Штучний інтелект. - 2008. - Ме 1.- С. 131-138. 

4. Давидов М.В. Класифікація елементів відеозображень реального часу з допомогою нейромережі / 
М.В. Давидов, Ю.В. Нікольський // Вісник Національного університету «Львівська політехніка»: 
Інформаційні системи та мережі. - 2005. - Мо 549. - С. 82-92. 

5. Нецпе-І ЗиКк Кобиз5і МодейШпе апа Весовбпійоп ої Напа Сезіиге5 мір Дупатіс Вауезіап МебїмогК / 
Нейп2-П Зак, Вопе-Кее 5іп, Зеопе-У/Бап ее // Райегп Кесоєпійоп, 2008. ІСРВ 2008. 19Б 
Ііегпанопа! Сопіегепсе, (8-11 Дес. 2008) - Р. 1-4. 

6.  Магсеі Зеразйеп. Напа Сезішге Кесоєпійоп ицяіпе Париі-Оціриї Нідфеп Магкоу Модсіз / Зебазійеп Магееї, 
Оіміег Вегпієг, Уеап-Епатапие! Млаїіеі, Дапіеі Сойобегі // Касе апа Себідге Весоєпійоп (ЕС 700). - Р. 456-462. 

7. Тротаз Соорап. Веаї те Бапа резішге гесорпійоп іпсіифіпо Бапа 5естпепіайоп апа ітаскіпо / Тротає 
Соовап, Сеогєе Ам/ай, Лапууеі Нап, АПзіаїг 5ифегіапа // Адуапсе8 їп Мізпа! Сопарийтпє. -- 2006, - Р. 495-504. 

8. Кади-Дапіе! Уаїауи. Абоуе-Шре-Табіє Пегасіоп5 ог ШкеШеепі Зепзіпе Зузіет5 / Кади-Рапіє! УМаїами, 
Укеїап-Сфеогепе Репішис // 9 Піегпанопа! Сопіегепсе оп Деусіортепі апа арріїсацоп зузієтя, Зисеама, 
Копапіа, (Мау 22-24, 2008). - Р. 285-288. 

9. Врачева А.А. Анализ методов и геодезических технологий наземного лазерного сканирования : 
автореф. магистерской работью |Злектронньй ресурс| / А.А. Врачева. - Режим доступа: 
риери/пазіег8.4оппій еди ла/2008/ єбео/угаспеуа/дЛі55/пдех Піт. 

10. Мідогі Кіабама. М/огкПом апа Тесрідцез Їог Мойоп Саріиге / Мідогі Кіїабама, Вгіап УМ/тпавог. 
МоСар г Агб5із8. - Зап Егапсізсо : Коса! Рге855 15 ап шаргіпі ої Кіземіег, 2008. - 216 р. 

11. Ту Дж. Принципьт распознавания образов / Дж. ТУ, Р. Гонсалес. - М. : Мир, 1978. -41 с. 

12. |Олектронньтгй ресурсі). Режим доступа: Бієр.//лумлу.б0пКа ги/пісК/91Їа/. 

13. Форсайт Д. Компьютерное зрение. Современньг6й подход / Д. Форсайт, Ж. Понс. - М. : Вильямс, 
2004. - 926 с. 


Ю.В. Крак, Д.В. Шкильнюк 

Технология распознавания злементов дактильно-жестового язьтка 

В статье исследуєтся дактильно-жестовьій язькк, используемьій для общения людьми с дефектами слуха и речи. 
Целью исследования есть разработка системьт распознавания дактильно-жестового язьтка. Рассматриваєтся и 
используєтся метод анимации персонажей, с помощью которого вьіделяєтся ряд признаков жестов. 
Предлагаєтся классификация жестов дактильно-жестового язьтка. 


Уи. У. Ктак, Б. У. 5иКіпуик 

Тесрпоїогру ої Кесоспійоп ої Кіетепіз ої Кіпеег-5ісп І апецаре 

їп Фе агісіе бпеег-5ісп Їапецаєє Їог деаї реоріе сопитипісайоп 15 іпуе5оаїей. Тре ригро5е 15 о деусіор Ше 
зузієт ої їде бпеег-5і9п Іапецаєє гесорпійоп. ТПе плеїпод ої спагасівг5 апітабоп 15 сопбідегей апа цп5ей ріс 
аЙомує (о 8еЇесі 50те Кеаїиге8 ої сезіигез. СПаз5ійсайоп ої безшшгез ої йпеег-5ісп Іапецаєє 15 оНегей. 
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